Vorlesung

Einführung in qualitative und quantitative Forschungsmethoden

Samuel Merk

Heutige Sitzung


Aktivierung Ihres Vorwissens

Ihre Fragen

Experiment: Messtheorie (Master Thesis Sonja Hahn)

Elaboration Messtheorie anhand Ergebnisse des Experiments

Vertiefung: Beurteilerübereinstimmung bei der Notengebung

Birkel (2005)

Alltagsmythen vs. interne Validität

Aktivierung Ihres Vorwissens!

Bearbeiten Sie die Lernkarten zur Messtheorie auf moodle.

Ihre Fragen zu den Begriffen aus den Lernkarten

Bitte stellen Sie unter https://bit.ly/merk006 Ihre Fragen zu den Begriffen aus den Lernkarten. Klicken Sie dazu auf »Q & A«.

Experiment: (Master Thesis)


Bitte bearbeiten Sie das Experiment zur Messtheorie Ihrer Kommilitonin unter https://bit.ly/merk096

Vertiefung: Beurteilerübereinstimmung bei der Notengebung

Abstract von Birkel (2005): 131 Lehrer(innen) beurteilten vier Mathematikarbeiten von Viertklässlem. Alle Lehrer verwendeten Punktesystem zur Auswertung. Der relative Anteil der erteilten Punkte konnte bei derselben Arbeit um bis zu 43 Prozentpunkte schwanken. Die abgegebenen Beurteilungen für dieselbe Arbeit differierten um bis zu 2.75 Notenstufen. Damit erscheint die Beurteilung von Mathematikarbeiten als nicht viel reliabler als die Aufsatzbeurteilung. Eine der verwendeten Arbeiten war im Original besonders unsauber in der Ausführung. Von dieser wurde eine “geschönte” Version erstellt und etwa der Hälfte der Beurteiler anstelle der Originalarbeit zur Beurteilung vorgelegt. Bei dieser Arbeit zeigte sich, dass die Auswertung der Arbeit von der Akkuratesse ihrer Ausführung nicht abhängig war, wohl aber die Beurteilung. Die von den Lehrern verwendeten Punktesysteme bei der Auswertung streuten zwischen 16.5 und 55 Punkten. Es zeigte sich, dass die Lehrer mit höchsten maximalen Punktsystemen den Schülern auch mehr Punkte gaben und entsprechend auch bessere Noten (voständigen Artikel hier herunterladen).

Alltagsmythen vs. intern valide Aussagen (Inferenzen)

Effekte und Verzerrungen die Alltagsmythen entstehen lassen buw. die interne Validität von Aussagen senken sind u.a.

Auslosung

library(tidyverse)
set.seed(2505)
source("https://soscisurvey.ph-karlsruhe.de/Mathematikarbeiten/?act=e1g9LMzN1JsM9XzCKPrEzeYQ&rScript")  

ds |> 
  filter(lubridate::ymd_hms(STARTED) > lubridate::ymd_hms("2023-05-03 10:00:00") &
           FINISHED == 1 &
           SC01 == "Ja, ich habe den Datenschutz gelesen und bin damit einverstanden.") |> 
  sample_n(1) |> 
  mutate(`Gewinnercodes (ohne die letzten drei Stellen)` = substr(ZG03_01, 1, 9)) |> 
  dplyr::select(`Gewinnercodes (ohne die letzten drei Stellen)`)

Literatur

Barnett, A. G., van der Pols, J. C., & Dobson, A. J. (2005). Regression to the mean: What it is and how to deal with it. International Journal of Epidemiology, 34(1), 215–220.
Birkel, P. (2005). Beurteilungsübereinstimmung bei Mathematikarbeiten? Journal für Mathematik-Didaktik, 26(1), 28–51.
Klayman, J., & Ha, Y. (1987). Confirmation, disconfirmation, and information in hypothesis testing. Psychological Review, 94(2), 211–228.
Rosenthal, R., & Fode, K. L. (1963). The effect of experimenter bias on the performance of the albino rat. Behavioral Science, 8(3), 183–189.